RoboArchitect:自动化设计带持久记忆的机器人 Agent
🧭 Agent 自动化设计与持久记忆
Stanford University
用 coding model 自动迭代优化机器人 agent harness,无需更新策略权重,大幅提升跨场景成功率
📌 工作参考价值(4 点)
- 借鉴「冻结模型 + 外围 harness 优化」范式:在推荐/搜索场景中,可以把已训练好的排序模型或 LLM 当成 frozen policy,通过代码化的决策逻辑(何时调用模型、如何融合特征、如何处理输出)进行自动迭代优化,避免频繁重训模型,尤其适合快速适配新业务场景或新数据分布。
- 持久记忆机制可迁移到对话式推荐 Agent:论文中 harness 会积累成功经验(如有效抓取深度)供后续决策参考。在电商导购或客服 Agent 中,可以设计类似的 memory 结构,记录用户偏好、历史成功推荐策略或交互模式,作为额外上下文注入下一次决策,提升个性化与连贯性。
- 失败诊断 + 代码修改的闭环值得复用:用 LLM 分析 rollout 失败原因并生成改进代码,这种「诊断-修订-评估」循环可以用于自动优化推荐系统外围逻辑,例如召回过滤规则、曝光策略、重排规则等,用代码表示策略比调权重更灵活且可解释。
- 工程实现上,harness 与 policy 解耦便于快速实验:将模型调用封装在可控代码层,可以轻量地切换不同底层模型或策略,同时通过 held-out 场景评估泛化,适合在电商推荐中构建可插拔的 Agent 框架。
PhysEvo:让 Astra 行动,物理递归自改进框架
🧭 具身智能 · 递归自改进 Agent
University of Chinese Academy of Sciences · Institute of Automation, Chinese Academy of Sciences · Tsinghua University · Independent Researcher
冻结模型上通过元代理诊断失败、修订工具与技能,大幅提升机器人操作成功率
📌 工作参考价值(4 点)
- Agent 自改进闭环可迁移:将执行轨迹作为诊断数据,让 meta-agent 分析失败原因、生成工具/技能修订,再通过测试验证后保留,这套「执行-诊断-修订-验证-保留」流水线可直接用于推荐/搜索 Agent 的策略迭代,无需更新底层 LLM 权重。
- 工具层迭代优于模型层重训:PhysEvo 证明在冻结模型上只改工具和技能就能显著提升成功率,对业务 Agent 来说,维护可复用的工具库和技能模板,比频繁微调模型更经济、更可控。
- 测试驱动修订:meta-agent 会先测试候选修订再决定保留,避免把坏的工具引入生产环境;在推荐 Agent 中可以对新的召回/排序工具进行离线评估或 A/B 测试后再上线。
- 可复用技能沉淀:修订后的技能被保留并支持后续任务,类似推荐系统的可复用策略模块,如用户意图识别、动态 query 改写等,通过累积有效修订形成领域知识库。
Encore:从少量演示中发现操控策略的 Agent 框架
🧭 Agent 从少量演示中提取策略并编程执行
Massachusetts Institute of Technology · 22077AI Open Source Foundation · Texas A&M University · University of Wisconsin–Madison
把少量演示作为证据包供编程 Agent 研读并迭代改写策略,冻结后评估不暴露成功信号
📌 工作参考价值(4 点)
- 可借鉴「演示即证据」的思路:在电商 Query 改写、广告文案生成或推荐策略决策中,将少量高质量成交/高点击样本的结构化轨迹(关键行为事件、状态变化)作为 prompt 上下文,让 LLM 从中归纳策略,而不是重新训练或微调。
- 固定感知/动作 API 的抽象很有用:给 Agent 暴露一组受限的领域函数(如召回、过滤、排序、出价),让 Agent 组合生成可执行策略程序,比自由文本输出更可控、可上线。
- 开发期允许少量 rollout 调试迭代,但最终 sealed evaluation 不反馈成功信号,可以防 Agent 过拟合评估指标或奖励黑客;迁移到线上测试时,冻结策略后用无偏指标评估。
- 确定性信息蒸馏:把演示/日志压缩为多视角关键帧、事件片段等结构化 pack,能降低 LLM 读取长流程的负担;在用户行为序列建模中,可提取关键行为事件、商品切换等作为总结性证据输入。
RAPID:从视觉演示自动生成机器人程序
🧭 机器人 Agentic 编程与代码生成
Massachusetts Institute of Technology · National University of Singapore · University of Pennsylvania · NVIDIA
利用编码 Agent 从单个视觉演示自动推断任务规范、动作原语与环境,迭代生成可泛化的机器人程序
📌 工作参考价值(4 点)
- Agentic loop 的要素拆解可复用:将代码生成闭环拆成「可测试任务规范 + 动作原语 + 交互执行环境」,从单个演示自动推断。在推荐/搜索场景可类比:用 LLM 从用户操作日志或行为样例中提炼可测试的策略约束(如点击率目标、多样性要求),再迭代生成和验证 query 或推荐策略。
- 对象中心关系表示提升泛化:用关系约束而非绝对坐标/ID 描述对象交互,使程序跨姿态、形状、材质泛化。可借鉴到生成式推荐或广告中:少用固定 item ID,改为对象属性、共现/替代/互补等关系特征,帮助冷启动与跨场景复用。
- 高层意图与低层执行解耦:动作原语定义为轨迹优化程序,只规定对象级运动效果,下层求解器处理具体路径。对应业务中把策略意图(如“提升 GMV”“增大曝光多样性”)编译为可执行算子,由底层排序/出价引擎实现,避免每次重新生成全量逻辑。
- 主要是具身智能与机器人编程贡献,但验证-修正闭环和从演示自动推断规范的思路可借鉴到 Agent 工作流设计。
世界动作智能体:通过世界动作预演利用 VLM 进行机器人操作
🧭 多智能体机器人操控与技能演化
HKUST(GZ) · CUHK · Knowin AI
多智能体视觉动作工作空间让 VLM 通过动作预演、视图内修正和技能演化实现机器人操作 SOTA
📌 工作参考价值(4 点)
- 可编辑动作提案与预演机制:在推荐/广告 Agent 中,可让 LLM 先产出候选策略或推荐列表,由 Reviewer/Imagination Agent 在低成本模拟中预演,结合离线评估器反馈修订,再决定是否真实上线,降低高风险操作成本。
- 多智能体分工:把主决策、预演评估、技能检索拆成不同 Agent,例如电商推荐中主 Agent 负责当前会话决策,Skill Agent 检索历史有效策略(选品、话术、促销),避免单一 Agent 上下文过载。
- 用交互轨迹蒸馏轻量模型:论文中 harness 轨迹微调将域外成功率从 1.7% 提升到 43.3%,这启示我们可以收集线上 Agent 高质量决策轨迹,蒸馏一个轻量策略模型用于高频、低时延场景,兼顾泛化与成本。
- 选择性上下文呈现:从场景几何自动挑选与当前交互相关的视图,类似在商品推荐中可以根据用户当前浏览/购物车动态裁剪商品属性、图片切片或用户行为段,减少无关信息对 VLM 决策的干扰。
面向安全机器人操作的障碍感知编码智能体约束框架
🧭 编码智能体的安全约束规划
USC · UCF · UCSB
提出 SafeHarness,通过障碍感知路径规划与接触执行显著提升编码智能体的任务成功率和避碰率
📌 工作参考价值(4 点)
- 约束优先级显式化:在 prompt 里写“不要撞障碍物”不够,需把安全约束拆成结构化步骤。电商 Agent 中“不违规”“不超预算”等约束可借鉴:先规划、验证约束、必要时重新规划,再执行。
- 阶段分解定位失败:将任务拆成 route phase 和 contact-rich moment,分别定位不满足约束的环节。推荐/广告 Agent 可对“选品→出价→文案”分段做约束检查,避免只在最终输出把关。
- 用结构化中间表示消解歧义:将物体表示成 bounding boxes、路径写成 waypoints,减少 LLM 对场景的自由裁量。对应到业务可用结构化 schema(如候选 query 列表 + 规则标签)让 Agent 做约束内选择。
- 验证-重规划闭环:选择路径后先 verify,不可行就 replan,而非一步到位。适合用在需要多步决策的推荐 Agent 流程,比如先选候选集再过滤违规项,失败后回退重选。
通过表示锚定和语言-动作对齐实现可泛化的VLA微调
🧭 具身Agent微调:表示蒸馏与动作离散化
University of Illinois Urbana-Champaign · Texas A&M University · University of California, Irvine
提出Anchor-Align,用表示锚定和语言-动作对齐防止VLA微调中的灾难性遗忘,提升机器人操作泛化能力
📌 工作参考价值(4 点)
- 多模态对话Agent的连续动作离散化:可将连续动作空间(如推荐系统中的出价、调价)转化为离散方向标签,与语言生成任务联合训练,提升策略的对齐性和解释性。
- 微调中防止预训练表示遗忘:在电商搜索LLM微调时,可引入表示锚定损失(蒸馏冻结模型的中间层),保留通用语义知识,提升OOD泛化能力。
- 离线强化学习/模仿学习的稳定性:对于从日志数据模仿推荐的Agent,该方法可防止分布漂移,尤其适用于长期序列决策的推荐场景。
- 主要用于具身智能,电商直接迁移有限:核心贡献在机器人控制,但其中表示蒸馏和离散动作对齐的思想可跨领域借鉴。